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Beschreibung 

uberwachungseinheit nebst Assistenzsystem fur Kraftfahrzeuge 

Die vorliegende Erfindung betrifft eine Uberwachungseinheit 
fur den AuBenraum in Fahrtrichtung eines Kraf tf ahr zeuges we- 
nigstens umfassend ein Kamerasystem mit einem Bildauf nahme- 
sensor . 

Daruber hinaus betrifft die vorliegende Erfindung ein Assis- 
tenzsystem fur Kraftfahrzeuge, insbesondere zur Verkehrszei- 
chen- und/oder Spurerf assung, mit zumindest einer den AuBen- 
raum in Fahrtrichtung des Kraf tf ahrzeuges erfassenden Uberwa- 
chungseinheit, wobei die Uberwachungseinheit wenigstens ein 
15 Kamerasystem mit einem Bildauf nahmesensor umfasst. 

intelligente ADAS- (Advanced Driver Assistance Systems) Fah- 
rerassistenzsysteme werden in modernen Kraf tf ahrzeugen der 
Zukunft eine immer wichtigere Stellung einnehmen. Zuktinftige 
20 Kraftfahrzeuge werden beispielsweise Uberwachungseinheiten 

wie Kamerasysteme mit z.B. digitalen CMOS- (Complementary Me- 
tal Oxide Semiconductor) oder CCD- (Charge Coupled Device) 
Bildsensoren als Hilfsmittel enthalten, welche den Auftenraum, 
eispielsweise in Fahrtrichtung des Kraf tf ahrzeuges , erfas- 



b 

25 sen. 



30 



Bei derartigen bildverarbeitenden Systemen im Automobilbe- 
reich zur Fahrumgebungserf assung 1st ftlr die meisten Aufgaben 
eine reine schwarz/weifi (S/W) , also eine monochrome Bildauf - 
nahme gunstiger als eine farbige. Es gibt jedoch Anwendungen, 
wo eine Farbinf ormation z.B. gewonnen aus den drei RGB-Grund- 
farben rot (R) , grun (G) oder blau (B) wichtig sein kann, urn 
eine hohere Aussagewahr scheinlichkeit ("confidence level") 
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des von einer Bildverarbeitung generierten Ausgangsvektors zu 
erreichen . 



Ein Beispiel ist die Erkennung von Verkehrsschildern, wobei 
5 liber die Farbinf ormation (R, G, B, . . . ) erkannt werden kann, 
ob es sich urn ein Ver- bzw. Gebotsschild handelt oder urn ein 
reines Inf ormationsschild. 



Eine weitere Funktion ist die Erkennung von farbigen Fahr- 
10 spurmarkierungen, beispielsweise im Baustellenbereich . Hier 
ist ebenfalis eine Farbinf ormation hilfreich und notwendig, 
beispielsweise urn zwischen den normalen weiften, nicht mehr 
gultigen Markierungen, und den zusatzlichen gelben Fahrspur- 
markierungen unterscheiden zu konnen. 

Demgegenuber ist ftir eine Erkennung von Objekten wie Hinder- 
nissen ; anderen Fahrzeugen, Zweiradf ahrern oder Personen, ei- 
ne rein monochrome (S/W) Bildaufnahme ausreichend, da eine 
Farbinf ormation (R, G, B, ...) hierbei in der Regel keine ho- 
20 here Erkennungsqualitat bietet . 

Der Erfindung liegt die Aufgabe zugrunde, eine verbesserte 
Uberwachungseinheit ftir den AuBenraum in Fahrtrichtung eines 
Kraf tf ahrzeuges wenigstens umfassend eine Kamerasystem mit 
25 einem Bildauf nahmesensor so wie eine verbesse ri-p .q... J^l^^f^ — 
system fur Kraf tf ahrzeuge, insbesondere zur Verkehrszeichen- 
und/ oder Spur erf as sung, bereit zustellen . 



Diese Aufgabe wird durch die Merkmale der unabhangigen Pa- 
30 tentanspriiche gelost. 
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Vorteilhafte Aus~ und Weiterbildungen, welche einzeln oder in 
Kombination miteinander eingesetzt werden konnen, sind Ge- 
genstand der abhangigen Anspruche. 

5 Die Erfindung baut auf gattungsgemafte Uberwachungseinheiten 
fur den AuBenraum in Fahrtrichtung eines Kraf tf ahr zeuges da- 
durch auf ^ dass die Uberwachungseinheit wenigstens ein Kame- 
rasystem ruit einem Bildaufnahmesensor umfasst, welcher im We- 
sentlichen monochrom (S/W) ausgebildet ist und erf indungsge- 
0 maft in partiellen Bereichen Farbcodierungen (R, G, B) be- 
sit zt . 

Zwecks Erkennung bzw. Zuordnung konkreter Farben von Ver- 
kehrszeichen wird vorgeschlagen, im rechten und/oder linken 
5 Bildrand eine Farbcodierung (R, G f B) von vertikalen Streifen 
und/oder Bereichen vorzusehen. Da Verkehrschilder bei einer 
Montage der Kamera im Frontbereich des Kraf tf ahr zeugs bei Ge- 
radeausfahrt aus Sicht der Kamera von der Mitte des Bildes 
nach aufien wandern, kann zu dem Zeitpunkt, wenn sich das 
0 Schild innerhalb der f arbcodierten Streifen bzw. Bereiche be- 
findet in vorteilhaf ter Weise die Farbe des Schildes und die 
damit verbundene Grundaussage (Verbot, Gebot, sonstige Infor- 
mation) ermittelt werden. 

5 Zwecks JErkennung der z.B. gelben oder weifien Farbe einer 

Fahrspurmarkierung wird vorgeschlagen, im unteren Bildrand 
des Sensors eine Farbcodierung (R, G, B) von horizontalen 
Streifen und/oder Bereichen vorzusehen, vorzugsweise in dem 
Bereich, wo die Kamera den Blick gerade liber die Kuhlerhaube 

0 auf die Strasse hat. Dieser Bereich ist fur eine Bildauswer- 
tung beziiglich Ob j ektdetektion oder Spurerf assung nicht zwin- 
gend erf orderlich, und kann somit vorteilhaf t dem Zweck der 
Farberkennung dienen. Da Fahrspuren bei einer Frontmontage 
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der Kamera und Geradeausf ahrt von der mittleren/oberen Bild- 
mitte bis zum unteren linken bzw. rechten Bildbereich zu se- 
hen sind, kann zusatzlich zur Position der Fahrspur vorteil- 
haft die Farbe ermittelt und einem bildverarbeitenden System 
5 zur Verfugung gestellt werden. 



Urn die gewlinschten Farbinf ormationen (R, G, B, . . . ) zu erhal- 
ten wird vorgeschlagen, vor jeder einzelnen Zelle (Pixel) der 
interessierenden Streifen bzw. Bereiche einen winzigen Farb- 
10 filter in einer der drei RGB-Grundf arben rot (R) , grun (G) 

oder "blau (B) auf zubringen, welche vorzugsweise im sog. Bay- 
er-Muster angeordnet sind. 

Die Erfindung besteht weiterhin in einem Assistenzsystem mit 
15 einer Uberwachungseinheit der vorstehend genannten Art. Auf 
diese Weise kommen die Vorteile der Uberwachungseinheit auch 
im Rahmen eines Ge saint systems r insb. zur Ver kehrszeichen- 
und/oder Spurerfassung, zur Geltung. 

20 Der wesentliche Vorteil einer erf indungsgemaften Uberwachungs- 
einheit fur den Auftenraum in Fahrtrichtung eines Kraftfahr- 
zeuges bzw. eines Assistenzsystems fur Kraf tf ahrzeuge umfas- 
send eine derartige Uberwachungseinheit mit einer partiell 
f arbcodierten (R, G, B) Kamera 1st, dass erstmals mit nur ei 

25 ner Kamera alle relevanten Daten zur Fahrumqebunaaanf a s&jg&q— 





gewonnen werden konnen. Durch den im Wesentlichen monochromen 
(S/W) Bildauf nehmer der Kamera r ist die Empf indlichkeit nicht 
eingeschrankt , um auch bei schlechten Lichtverhaltnissen eine 
sichere Auswertung zu gewahrleisten; die Farbcodierung (S/W) 
30 im Randbereich des Sensors stort nicht diejenigen Applikatio- 
nen, fur welche das rein monochrome (S/W) Bild gunstiger ist. 



4 



2004P08813 



Dagegen bietet die Farbcodierung (R, G, B) mit vertikalen 
Streifen und/oder Bereichen im rechten und/oder linken Bild- 
feldrand des Sensors eine sichere Information uber die Farbe 
(R, G, B, . . . ) von Verkehrsschildern; die Farbcodierung ( (R, 
5 G, B) im unteren Bildbereich eine sichere Information uber 
die Farbe von Fahrspurmarkierungen . 



Somit kann fur alle einschlagigen Anwendungen eine einzige 
Kamera eingesetzt werden, was in vorteilhaf ter Weise Kosten 
10 und Bauraum spart. 

Die Erfindung wird nachfolgend mit Bezug auf die begleitende 
Zeichnung anhand eines bevorzugtes Ausf iihrungsbeispiels be- 
schrieben . 

15 

Darin zeigen schematisch: 



Fig . 1 das Beispielbild einer monochrom (S/W) abgebildeten 
20 Auftenraumszene eines Kraft fahrzeuges ; 

Fig. 2 die Prinzipskizze einer moglichen Farbf iltervertei- 
lung (R, G, B) des Bildauf nehmer s der Kamera einer 
Uberwachungseinheit ; 
25 

Fig. 3 einen vergrofterten Ausschnitt der Farbf iltervertei-. 
lung nach Fig. 2; und 

Fig. 4 das Beispielbild nach Fig. 1 mit einer nach Fig. 2 
30 teilf arbcodierten AuBenraumszene . 
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Fig. 1 zeigt das Beispielbild einer monochrom abgebildeten 
AuBenraumszene eines Kraftfahrzeuges. Nachteilig an einer 
derartigen schwarz/weift (S/W) Bildauf nahme ist die fehlende 
Farbinf ormation, welche beispielsweise sich aus ' den drei Pri 
5 marfarben rot (R) , grun (G) und blau (B) gewinnen liefte. 

Derartige Farbinf ormationen (R f G, B, - . . ) konnen zur Errei- 
chung einer hoheren Aussagewahrscheinlichkeit ("confidence 
level") des von einer Bildverarbeitung generierten Ausgangs- 

10 vektors wichtig sein, insbesondere fur die Erkennung von Ver 
kehrsschildern, wo uber die Farbinf ormation (R, G, B, . . . ) 
erkannt werden kann, ob es sich um ein Ver- oder Gebotsschil 
handelt - wie bei dem Geschwindigkeitsbegrenzungszeichen 
rechts im Bildausschnitt von Fig. 1 - oder um ein reines In- 

15 formationsschild (nicht dargestellt) . 

Eine weitere Funktion ist die Erkennung von farbigen Fahr- 
spurmarkierungen im Baustellenbereich . Hier ist eine Unter- 
scheidung hilf reich und notwendig zwischen den normalen wei- 
20 Ben, nicht mehr gultigen Markierungen und den zusatzlichen 
gelben Fahrspuren . 

Denkbare Losungen eines ausschliefilich f arbcodierten (R, G, 
B) Bildauf nehmer sind nicht nur rechenzeit- und damit kosten 

25 intensiver sondern weisen zudern den Nachteil auf f das .s — fte 

eine Reihe von AuBenraum-Anwendungen, insbesondere fur Ob- 
j ektdetektion von Hindernis sen r anderen Fahrzeugen, Zweirad- 
fahrern, Personen und dergleichen oder Anwendungen bei Nacht 
monochrome (S/W) Bilder gunstiger sind. 

30 

Zur Losung dieser sich entgegenstehenden Anf orderungen 
schlagt die vorliegende Erfindung in einer gattungsgemaften 
Uberwachungseinheit die Verwendung eines z.B. speziell ausge 
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bildeten CCD-Sensors 10 vor, welcher im Wesentlichen mono- 
chrom (S/W) ausgebildet ist, und in partiellen Bereichen 
Farbcodierungen (R, G, B) besitzt. Dies konnte beispielsweise 
durch eine Farbcodierung (R, G, B) von vertikalen Streifen 
5 (nicht dargestellt) oder Bereichen im rechten 11 und linken 
12 Bildrand geschehen, und ware hilfreich z.B. Verkehrsschil- 
dern die richtige Farbe (R, G r B, ...) zuzuordnen. Da die 
Verkehrschilder bei einer Montage der Kamera im Frontbereich 
des Fahrzeugs bei Geradeausf ahrt aus Sicht der Kamera von der 
0 Mitte des Bildes nach auBen wandern, • kann zu dem Zeitpunkt 
wenn sich das Schild innerhalb der f arbcodierten (R, G, B) 
Streifen bzw. Bereiche 11, 12 befindet die Farbe (R, G, B , 
. des Schildes ermittelt werden. 

5 • Fur eine Erkennung der Farbe der Fahrspur (z.B. gelb oder 

weift) bietet es sich an, im unteren Bereich 13 des Sensoocs 10 
ebenfalls eine Farbcodierung (R, G, B) vorzusehen, und zwar 
vorzugsweise in dem Bereich, wo die Kamera den Blick gerade 
tiber die Kuhlerhaube auf die Strasse hat. Dieser Bereich ist 
0 fur eine Bildauswertung bezuglich Ob j ektdetektion oder Spur- 
erf assung nicht zwingend erf orderlich, und kann somit fur den 
Zweck der Farberkennung (R, G, B) verwendet werden. Da Fahr- 
spuren bei einer Frontmontage der Kamera und Geradeausf ahrt 
von der mittleren/oberen Bildmitte bis zum unteren linken und 
5 rechten Bildbereich zu sehen sind, kann zusatzlich zur Posi- 
tion der Fahrspur immer noch die Farbe ermittelt und dem 
bildverarbeitenden System zur Verftigung gestellt werden. 

Gerade auch bei einer Anwendung fur Nachtsicht ist die 
0 hochstmogliche Empf indlichkeit iiber den gesamten, also unge- 
filterten, Wellenlangenbereich, inklusive dem nahen Infrarot 
notwendig. Hier muss aber im Allgemeinen auch ein wesentlich 
kleinerer Erf assungswinkel detektiert werden, so dass es ge- 
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niigt einen kleineren mittleren Bereich ohne Farbcodierung zu 
versehen. 

Fig. 2 zeigt die Prinzipskizze einer moglichen Farbf ilterver- 
5 teilung (R, G, B) des Bildauf nehmers 10 der Kamera einer 0- 
berwachungseinheit . Normalerweise erfassen die lichtempf ind- 
lichen Zellen eines CCD-Sensors 10 in der Digitalkamera der 
Uberwachungseinheit nur Helligkeitswerte . Urn Farbinf ormatio- 
nen (R, G, B, . ..) zu erhalten, ist vor jeder einzelnen Zelle 
10 ein winziger Farbfilter in einer der drei RGB-Grundf arben rot 
(R) , grun (G) Oder blau (B) auf zubringen. Die Filter sind 
normalerweise in der Anordnung R-G-R-G und in der nachsten 
Zeile G-B-G-B angebracht, die in dieser Anordnung das so ge- 
nannte "Bayer Pattern" (deutsch: Bayer Muster) ergeben. 

: 15 

Fig. 3 zeigt einen vergrofterten Ausschnitt der als Bayer- 
Muster angeordneten Farbf ilterverteilung (R, G, B) nach Fig. 
2. Deutlich erkennbar ist, wie jedes CCD-Element nur die In- 
formation fur einen einzigen Farbanteil liefert, so dass dem- 
20 entsprechend die benachbarten Pixel fur die Errechnung der 
tatsachlichen Farbe herangezogen werden mussen. Dieser Pro- 
zess tragt die Bezeichnung "Farbinterpolation" . 

Mittels derartiger Farbinterpolationen lassen sich innerhalb 
25 der als Bayer-Pattern codierten Streifen bzw. Bere dLizh^n^-^ — 
T2~ f 13 des Sensors 10 im Strafl enverkehr aussagebehaf tete 
Farbinf ormationen gewinnen und einem bildverarbeitenden Sys- 
tem zur Verfugung stellen: 



30 Das dementsprechende Beispielbild nach Fig. 1 mit einer nach 
Fig. 2 teilf arbcodierten Aufienraumszene zeigt Fig. 4. 
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Der wesentliche Vorteil einer partiell f arbcodierten Kamera 
ist, dass mit nur einer Kamera alle relevanten Daten zu Fahr- 
umgebungserf assung gewonnen werden konnen. Durch die inn. we- 
sentlichen monochrome (S/W) Kamera, ist die Empf indlichkeit 
5 nicht eingeschrankt , um auch bei schlechten Lichtverhaltnis- 
sen eine sichere Auswertung zu gewahrleisten, die Farbcodie- 
rung (R, G, B) im Randbereich 11, 12 des Sensors 10 stort 
nicht fur die Applikationen, fur welche das rein monochrome 
(S/W) Bild giinstiger ist. Dagegen bietet die Farbcodierung 
0 (R, G, B) mit vertikalen Streifen im linken 11 und rechten 12 
Bildfeldrand eine sichere Information liber die Farbe (R, G, 
B, . ..) von Verkehrsschildern, die Farbcodierung (R, G, B) im 
unteren Bildbereich eine sichere Information iiber die Farbe 
von Fahrspuren. 
5 

Somit kann fiir alle Anwendungen eine einzige Kamera einge- 
setzt werden, was Kosten und Bauraum spart . 

Die vorliegende Erfindung eignet sich daher insbesondere fiir 
0 die Implementierung in einem Assistenzsystem fiir Kraftfa,hr- 
zeuge, insb. zur Vexkehrszeichen- und/oder Spurerf assung . 
Nicht nur in Kombination mit bestehenden Assistenzsystemen 
fiir Kraf tf ahrzeuge wie Blind-Spot-Detektion, LDW (Lane Depar- 
ture Warning) - Spuriiberwachung, Night Vision etc. erhoht sie 
5 vorteilhaft die Sicherheit im Straftenverkehr . 
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Patent an spriiche 

1. Uberwachungseinheit fur den Auftenraum in Fahrtrichtung 
eines Kraf tf ahr zeuges wenigstens umfassend ein Kamera- 
system mit einem Bildaufnahmesensor (10), welcher im We- 
sentlichen monochrom (S/W) ausgebildet ist und in par- 
tiellen Bereichen (11, 12, 13) Farbcodierungen (B, G, R) 
besitzt . 



10 2. Uberwachungseinheit nach Anspruch 1, bei dem eine Farb- 
codierung (B, G, R) von vertikalen Streifen und/oder Be 
reichen (11) im rechten Bildrand des Sensors (10) vorge 
sehen sind. 



15 3. Uberwachungseinheit nach Anspruch 1 oder 2, bei dem eine 
Farbcodierung (B, G, R) von vertikalen Streifen und/oder 
Bereichen (12) im linken Bildrand des Sensors (10) vor- 
gesehen sind. 

20 4. Uberwachungseinheit nach einem der Anspruche 1 bis 3, 
bei dem eine Farbcodierung (B, G, R) von horizontalen 
Streifen und/oder Bereichen (13) im unteren Bildrand des 
Sensors (10) vorgesehen sind. 

2 5 5. Uberwachungseinheit nach Anspruch 4, bei dem die RBJzbxzc^ 




— "cirerung (B, G, R) im unteren Bildrand des Sensors (10) 

sich mit dem Bereich deckt, in dem die Kamera den Blick 
gerade uber die Klihlerhaube auf die Strasse hat. 

30 6. Uberwachungseinheit nach einem der vorherigen Anspruche, 
bei dem die f arbcodierten Streifen und/oder Bereiche 
(11, 12, 13) als Bayer-Muster ausgebildet sind. 
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7. Assistenzsystem fur Kraf tf ahr zeuge , insbesondere zur 

Verkehrszeichen- und/oder Spurerf assung, mit zumindest 
einer den AuJ^enraum in Fahrtrichtung des Kraf tf ahr zeuges 
erfassenden Uberwachungseinheit nach einem der vorheri- 
gen Ansprtiche , 
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Zusammenf as sung 

Uberwachungseinheit nebst As s is tenz system fur Kraf tf ahr zeuge 

5 Die vorliegende Erfindung betrifft eine Uberwachungseinheit 
fur den Au^enraum in Fahrtrichtung eines Kraf tf ahrzeuges we- 
nigstens umfassend ein Kamerasystem mit einem Bildauf nahme- 
sensor (10), welcher im Wesentlichen monochrom (S/W) ausge- 
bildet ist und erf indungsgemaft in partiellen Bereichen (11, 
10 12, 13) Farbcodierungen (B, G, R) besitzt. 

Die Erfindung besteht weiterhin in einem Assistenzsystem, j 
insb. zur Verkehrszeichen- und/oder Spurerf assung, mit einer 
Uberwachungseinheit der vorstehend genannten Art. 

15 

Der wesentliche Vorteil einer erf indungsgemaften Uberwachungs- 
einheit fur den AuBenraum in Fahrtrichtung eines Kraftfahr- 
zeuges bzw. eines Assistenzsystems fur Kraf tf ahr zeuge umfas- 
send eine derartige Uberwachungseinheit mit einer partiell 

20 f arbcodierten (R, G, B) Kamera ist, dass erstmals mit nur ei- 
ner Kamera alle relevanten Daten zur Fahrumgebungserf assung 
gewonnen werden konnen . Durch den im Wesentlichen raonochromen 
(S/W) Bildauf nehmer der Kamera, ist die Empf indlichkeit nichtj 
eingeschrankt , urn auch bei schlechten Lichtverhaltnissen eine 

25 sichere Auswertung zu gewahrleisten; die Farbcodierung (S/W) 
im Randbereich des Sensors stort nicht diejenigen Applikatio- 
nen, fur welche das rein monochrome (S/W) Bild gunstiger ist. 
Somit kann fur alle Anwendungen eine einzige Kamera einge- 
setzt werden, was in vorteilhaf ter Weise Kosten und Bauraum 

30 spart. 

Figur 4 
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